成像专题 | 端到端优化衍射元件实现全光谱轻薄计算成像 (OSA Optica)
端到端优化+衍射元件成像Learned Diffractive Achromat for Full Spectrum Computational Imaging
本期导读
成像系统已广泛应用于生活各个方面，从安防监控到自动驾驶，从手机摄影到最近的疫情防控，光电成像系统都是其中的核心部件。然而时至今日，如何更有效地设计并实现高性能轻量化成像系统依旧是研究热点。本期分享来自同济大学和美国斯坦福大学的研究成果，通过在计算成像模型中引入旋转对称性和同心圆环分解，实现了成像模型的降维计算，将传统端到端设计光学系统和图像处理算法的内存需求缩减了一个数量级，首次实现了端到端设计、大口径、多消色差波长的全光谱计算成像用衍射光学元件，并得到了较好的实际成像结果。相关成果 Learned rotationally symmetric diffractive achromat for full-spectrum computational imaging 于近日发表在光学领域顶级期刊《Optica》。该技术为基于衍射光学元件实现轻薄计算成像系统的发展铺平了道路，有望将轻量化便携式计算摄影引入全新时代（文末有回顾总结）。
背景介绍
高性能轻量化成像系统是当前学界和产业界关注的热点领域。当前成像系统大多基于折射光学元件构建，为实现高性能成像需要复杂的光学镜头，进而导致系统长度长、重量重。最明显的例子，目前手机摄像模组的光学镜头，因其长度难以缩小而凸出于手机后壳。衍射光学元件（DOE）具有的平面化、轻薄、轴外像差小等特性，与先进的计算成像技术相结合，有望实现平面集成成像系统，在保证成像性能的情况下，显著地缩小系统的长度和重量（图1）。
图1 传统折射光学系统和基于衍射光学元件的平面化集成光学系统对比
需要注意的是，由于衍射元件内在的强色差特性，一直以来被认为难以应用于全光谱成像。尽管近年来研究者们通过顺序设计方法实现了消色差衍射元件（diffractive achromat），由于尚缺乏什么样的衍射光学元件光学传递函数（OTF）最适合计算成像系统的认识，导致这类方法设计的DA的性能难以达到最优，使得算法恢复后的图像存在明显鬼影和细节丢失现象。
为了衍射光学元件与计算成像高效结合以实现轻薄高性能成像系统，将衍射光学元件和图像处理算法进行端到端协同设计必不可少。但目前还无法实现端到端协同设计实用化尺寸的衍射光学元件。主要原因在于端到端设计框架内存资源消耗极大，例如设计31个波长，口径8mm的DOE，其内存需求高达20GB (!)，远超目前商用GPU显存大小。
技术思路
针对该核心问题，研究人员在传统旋转对称参数化的基础上，提出了基于同心圆环分解的成像模型计算降维方法，并进一步结合能量正则化，成功地将端到端设计框架的内存需求降低了一个数量级。这使得研究团队首次实现了端到端设计8mm口径、31个消色差波长的全光谱衍射光学元件。实际成像效果验证了其与同参数商业镜头接近的成像性能，系统性能较传统顺序设计方法提高了1.3dB，厚度和重量却大大减小。端到端设计的成功实施也首次揭示了最佳DA的OTF需求应是尽可能提高全光谱内OTF高频分量的幅度，加深了对于基于衍射元件的计算成像系统的认识。
图2 基于旋转对称参数化的端到端光学设计框架
创新研究
同心圆环分解的旋转对称模型
如图1所示，端到端成像模型包含了计算衍射光学元件PSF和使用这些PSF模拟实际采集图像两个过程。传统端到端设计框架中PSF的计算都是二维的，导致了极高的计算复杂度和内存需求。例如，对于8mm口径的DA，若微结构单元尺寸为2μm，则计算和优化网格变量需求均高达16,000,000 (!)。不失一般性，考虑到衍射光学元件在有限视场条件下，其PSF近似满足视场无关特性，可以假定轴上像差是影响成像的主导因素，而无轴上像差的光学系统，其面型从本质上来说就是旋转对称性。基于此，该研究工作提出对DOE面型使用旋转对称参数化（图3）实现优化降维且并不影响最后获得最优结果。进一步地考虑到实际加工的DOE面型为台阶离散圆环，其可以表示成一系列圆孔函数的一维组合，进而其PSF可以等效于一系列一维第一类一阶贝塞尔函数的和，从而实现了点扩散函数的计算降维。例如，针对前述参数要求，计算网格需求可减小到只需2000，极大减低了PSF计算的内存需求。
图3 基于旋转对称和同心圆环分解的成像模型计算降维
能量正则化
若焦距50mm DOE的微结构单元尺寸为2μm，可以计算得到其弥散斑尺寸可达13.75mm，这导致需要模拟计算的图像像素高达2,292×2,292（像素大小6μm），同样导致巨大的内存消耗。该研究工作亦提出在Loss中增加能量正则化，以使能量往仿真设计的图像尺寸区域集中，进而可以使用相对较小的模拟图像像素数量，如512×512，以达到减小内存需求地目标。设计结果表明，该能量正则化可以有效地确保以小图像像素仍获得大图像像素的计算准确性，模拟设计的图像尺寸中的能量使用正则化后能量从6%增加到了76%（图4），极大减小了内存需求的同时保证了设计准确性。
图4 采用能量正则化（蓝）和不采用能量正则化（红）设计所得点扩散函数（PSF）的强度分布对比
消色差DA最佳OTF分析
该研究工作亦比较了传统Fresnel lens，基于传统顺序设计方法所得DA (reference)，及采用端到端设计所得DA的光学传递函数。由结果可以看出端到端设计DA的OTF在高频分量出的值更高（图5），首次揭示了最佳DA设计的OTF需求是尽可能提高全光谱内OTF高频分量的幅度，也可以用来解释为什么传统顺序设计DA难以得到最优结果：按照传统设计思路，其给定的PSF优化目标不利于增加高频分量处的OTF值。
图5 不同DA设计在不同波长的聚焦性能比较
图6 基于轻薄衍射光学元件实现全光谱计算成像实拍输出结果（像素3,000×2,000）
应用与展望
简而言之，该研究工作的实际成像效果验证了其与同参数商业镜头接近的成像性能（图5），但长度较商业镜头从>10mm缩小到0.5~1mm。该设计方法为基于衍射光学元件实现轻薄计算成像系统发展铺平了道路，可为替换传统精密而笨重的相机镜头设计提供额外选择，有望将轻量化便携式计算摄影引入全新时代。尽管目前的研究工作展示的应用更侧重于全光谱计算摄影，其所提出的减低端到端计算复杂度方法可广泛应用于其他机器学习驱动的光学系统设计中，例如单相机三维成像、高动态范围成像、及光电联合图形处理系统等。
论文信息：Xiong Dun, Hayato Ikoma, Gordon Wetzstein, Zhanshan Wang, Xinbin Cheng, and Yifan (Evan) Peng, Learned rotationally symmetric diffractive achromat for full-spectrum computational imaging, OSA Optica (2020).
端到端光学编码超分辨单光子成像 (ACM TOG）
端到端衍射光学实现单次曝光高动态范围成像 (IEEE CVPR)
计算成像: 基于深度学习的超薄单镜片大视场成像 (ACM TOG)
回顾与预告
上期回顾：成像专题 | 实时多人无标记三维运动捕捉 (IEEE CVPR)
下期预告：我们将不定期持续推荐学术领域具有代表性的计算显示和计算成像研究工作，同时穿插一些新型光学设计和VR/AR光机实现科普等的资讯分享，欢迎订阅关注，欢迎来稿交流。INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台，还望大家多多海涵支持，欢迎拍砖。
END